import argparse
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
import sys


def test():
    mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

    print(mnist.train.images.shape, mnist.train.labels.shape)
    print(mnist.test.images.shape, mnist.test.labels.shape)
    print(mnist.validation.images.shape, mnist.validation.labels.shape)


def main(_):
    # Import data
    mnist = input_data.read_data_sets(FLAGS.data_dir)

    # Create the model
    '''
    通过操作符号变量来描述这些可交互的操作单元
    x不是一个特定的值，而是一个占位符placeholder，
    我们在TensorFlow运行计算时输入这个值。
    我们希望能够输入任意数量的MNIST图像，
    每一张图展平成784维的向量。
    我们用2维的浮点数张量来表示这些图，这个张量的形状是[None，784 ]。
    （这里的None表示此张量的第一个维度可以是任何长度的。）
    '''
    x = tf.placeholder(tf.float32, [None, 784])

    '''
    我们的模型也需要权重值和偏置量，当然我们可以把它们当做是另外的输入（使用占位符），
    但TensorFlow有一个更好的方法来表示它们：Variable 。
    一个Variable代表一个可修改的张量，存在在TensorFlow的用于描述交互性操作的图中。
    它们可以用于计算输入值，也可以在计算中被修改。对于各种机器学习应用，一般都会有模型参数，可以用Variable表示。
    '''
    '''
    我们赋予tf.Variable不同的初值来创建不同的Variable：在这里，我们都用全为零的张量来初始化W和b。
    因为我们要学习W和b的值，它们的初值可以随意设置。
    注意，
    W的维度是[784，10]，因为我们想要用784维的图片向量乘以它以得到一个10维的证据值向量，每一位对应不同数字类。
    b的形状是[10]，所以我们可以直接把它加到输出上面。
    '''
    W = tf.Variable(tf.zeros([784, 10]))
    b = tf.Variable(tf.zeros([10]))

    #实现模型
    '''
    首先，我们用tf.matmul(​​x，W)表示x乘以W，对应之前等式里面的，这里x是一个2维张量拥有多个输入。然后再加上b，把和输入到tf.nn.softmax函数里面。
    至此，我们先用了几行简短的代码来设置变量，然后只用了一行代码来定义我们的模型。
    TensorFlow不仅仅可以使softmax回归模型计算变得特别简单，它也用这种非常灵活的方式来描述其他各种数值计算，从机器学习模型对物理学模拟仿真模型。
    一旦被定义好之后，我们的模型就可以在不同的设备上运行：计算机的CPU，GPU，甚至是手机！
    '''
    y = tf.matmul(x, W) + b

    #训练模型

    '''
    为了训练我们的模型，我们首先需要定义一个指标来评估这个模型是好的。
    其实，在机器学习，我们通常定义指标来表示一个模型是坏的，这个指标称为成本（cost）或损失（loss），然后尽量最小化这个指标。
    但是，这两种方式是相同的。
    一个非常常见的，非常漂亮的成本函数是“交叉熵”（cross-entropy）。
    交叉熵产生于信息论里面的信息压缩编码技术，但是它后来演变成为从博弈论到机器学习等其他领域里的重要技术手段。
    
    y 是我们预测的概率分布, y' 是实际的分布（我们输入的one-hot vector)。
    比较粗糙的理解是，交叉熵是用来衡量我们的预测用于描述真相的低效性。
    '''
    # Define loss and optimizer
    # 为了计算交叉熵，我们首先需要添加一个新的占位符用于输入正确值
    y_ = tf.placeholder(tf.int64, [None])

    # The raw formulation of cross-entropy,
    # 计算交叉熵:
    '''
    首先，用 tf.log 计算 y 的每个元素的对数。
    接下来，我们把 y_ 的每一个元素和 tf.log(y) 的对应元素相乘。
    最后，用 tf.reduce_sum 计算张量的所有元素的总和。
    （注意，这里的交叉熵不仅仅用来衡量单一的一对预测和真实值，而是所有100幅图片的交叉熵的总和。
    对于100个数据点的预测表现比单一数据点的表现能更好地描述我们的模型的性能。
    '''
    # cross_entropy = -tf.reduce_sum(y_*tf.log(y))
    #
    #   tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(tf.nn.softmax(y)),
    #                                 reduction_indices=[1]))
    #
    #  can be numerically unstable.数值不稳定。
    #
    # So here we use tf.losses.sparse_softmax_cross_entropy on the raw
    # outputs of 'y', and then average across the batch.
    # 所以在这里我们使用tf.losses.sparse_softmax_cross_entropy在原输出Y，然后多分类

    # 多分类
    cross_entropy = tf.losses.sparse_softmax_cross_entropy(labels=y_, logits=y)
    '''
    现在我们知道我们需要我们的模型做什么啦，用TensorFlow来训练它是非常容易的。
    因为TensorFlow拥有一张描述你各个计算单元的图，它可以自动地使用反向传播算法(backpropagation algorithm)来有效地确定你的变量是如何影响你想要最小化的那个成本值的。
    然后，TensorFlow会用你选择的优化算法来不断地修改变量以降低成本。
    '''
    '''
    在这里，我们要求TensorFlow用梯度下降算法（gradient descent algorithm）以0.01的学习速率最小化交叉熵。
    梯度下降算法（gradient descent algorithm）是一个简单的学习过程，TensorFlow只需将每个变量一点点地往使成本不断降低的方向移动。
    当然TensorFlow也提供了其他许多优化算法：只要简单地调整一行代码就可以使用其他的算法。
    TensorFlow在这里实际上所做的是，它会在后台给描述你的计算的那张图里面增加一系列新的计算操作单元用于实现反向传播算法和梯度下降算法。
    然后，它返回给你的只是一个单一的操作，当运行这个操作时，它用梯度下降算法训练你的模型，微调你的变量，不断减少成本。
    '''
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

    # 现在，我们已经设置好了我们的模型。在运行计算之前，我们需要添加一个操作来初始化我们创建的变量：
    # init = tf.initialize_all_variables()

    # 现在我们可以在一个Session里面启动我们的模型，并且初始化变量：
    sess = tf.InteractiveSession()
    tf.global_variables_initializer().run()
    # Train
    # 然后开始训练模型，这里我们让模型循环训练1000次！
    '''
    该循环的每个步骤中，我们都会随机抓取训练数据中的100个批处理数据点，然后我们用这些数据点作为参数替换之前的占位符来运行train_step。
    使用一小部分的随机数据来进行训练被称为随机训练（stochastic training）- 在这里更确切的说是随机梯度下降训练。
    在理想情况下，我们希望用我们所有的数据来进行每一步的训练，因为这能给我们更好的训练结果，但显然这需要很大的计算开销。
    所以，每一次训练我们可以使用不同的数据子集，这样做既可以减少计算开销，又可以最大化地学习到数据集的总体特性。
    '''
    for _ in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

    # Test trained model
    '''
    评估我们的模型
    那么我们的模型性能如何呢？
    首先让我们找出那些预测正确的标签。
    tf.argmax 是一个非常有用的函数，它能给出某个tensor对象在某一维上的其数据最大值所在的索引值。
    由于标签向量是由0,1组成，因此最大值1所在的索引位置就是类别标签，比如tf.argmax(y,1)返回的是模型对于任一输入x预测到的标签值，
    而 tf.argmax(y_,1) 代表正确的标签，我们可以用 tf.equal 来检测我们的预测是否真实标签匹配(索引位置一样表示匹配)。
    correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
    '''
    correct_prediction = tf.equal(tf.argmax(y, 1), y_)
    '''
    这行代码会给我们一组布尔值。
    为了确定正确预测项的比例，我们可以把布尔值转换成浮点数，然后取平均值。
    例如，[True, False, True, True] 会变成 [1,0,1,1] ，取平均值后得到 0.75.
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
    '''
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    '''
    最后，我们计算所学习到的模型在测试数据集上面的正确率。
    print sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})
    '''
    print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

'''
这个最终结果值应该大约是91%。
这个结果好吗？嗯，并不太好。事实上，这个结果是很差的。
这是因为我们仅仅使用了一个非常简单的模型。
不过，做一些小小的改进，我们就可以得到97％的正确率。
最好的模型甚至可以获得超过99.7％的准确率！（想了解更多信息，可以看看这个关于各种模型的性能对比列表。)
比结果更重要的是，我们从这个模型中学习到的设计思想。
不过，如果你仍然对这里的结果有点失望，可以查看下一个教程，在那里你可以学习如何用TensorFlow构建更加复杂的模型以获得更好的性能！
'''

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--data_dir', type=str, default='D:/workspace_python/tf_example/', help='Directory for storing input data')
    FLAGS, unparsed = parser.parse_known_args()

    # print(FLAGS)
    # print(unparsed)
    tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)
